Conditional GAN介绍
背景
Traditional supervised approach
- 正面火车和侧面火车都是好的结果，这会导致最后图片很模糊，因为是多张图片的平均
- 正面火车和侧面火车都是好的结果，这会导致最后图片很模糊，因为是多张图片的平均
GAN
- G其实可以很容易忽略D,从而可以无视G的输入(这里是c:train)
- 比如如果G发现每次输出猫都能得到高分，那么不管G的输入，只要我我每次都输出是清晰的猫就好了
- 输出低分基本上有下面三种场景
- 后面的Conditional GAN可以解决这个问题
- G其实可以很容易忽略D,从而可以无视G的输入(这里是c:train)
Conditional GAN
- 输入
- G的输出x：图片
- G的输入c：train
- 目标
- x is realistic or not
- c ans x are matched or not
- 演算法
- 核心思想：找到Loss(上面三种情况集合)，然后用梯度提升方法去优化
- 核心思想：找到Loss(上面三种情况集合)，然后用梯度提升方法去优化
Contitional GAN(D网络架构)
- 分别将x是否是真实图片和c and x是否match分别输出会比较好一点
Stack GAN
- 思想就是先产生小图，然后产生大图
Image to Image
传统方法(Supervised Learning)
- 也是一样，最后输出会很模糊
- 因为一个input对应了多个好图（多张图片），就会把这些图片做平均来输出
- 因为一个input对应了多个好图（多张图片），就会把这些图片做平均来输出
GAN方法
- testing中的close图片，就是supervised learning的结果，比较模糊
- GAN比较清晰了，但是会产生一些其他的内容
- GAN+close，再加入一些限制条件，就是让G产生的图片更接近真实图片
Patch GAN
- 图像太大，容易出现各种问题
GAN用到其他场景
Speech去杂音
- speech生谱图就当做图片，也使用Conditional GAN思想
Video
- 判断是否是正确的连续的影片
- 将影片一张张剪辑，形成图片，然后进行训练
- 将影片一张张剪辑，形成图片，然后进行训练